马武林 欧阳灵卿 | 沉浸式虚拟仿真技术(IVR) 英语教学中的途径分析

点击蓝字 关注我们

作者简介

马武林,男,四川外国语大学大学外语教学部教授,博士生,硕士生导师,主要从事技术支持的外语教学研究。

欧阳灵卿,女,四川外国语大学研究生院硕士研究生,主要从事技术支持的外语教学研究。

本文载《外国语文》2020年第4期

人工智能技术与外语研究专栏

摘 要:2016 年被称为虚拟仿真技术元年,虚拟仿真技术迎来了新的发展机遇,本文通过案例分析,从情境创设、教学交互和动机提升的角度切入,探讨了沉浸式虚拟仿真技术( IVR)  在英语教学中的潜在优势、应用途径与面临的挑战,以期为沉浸式虚拟仿真技术( IVR) 与英语教学深度融合奠定基础。

关键词:虚拟仿真;虚拟现实;沉浸;英语教学;途径

 引言

《国务院关于印发“ 十三五” 国家信息化规划的通知》( 国发〔2016〕73 号) 和《教育部关于狠抓新时代全国高等学校本科教育工作会议精神落实的通知》( 教高函[2018]8 号) 等文件提出,要加快完善现代信息技术与教育教学深度融合机制,有序有效推进虚拟仿真实验教学项目的建设、应用及管理。   教育部《2017—2020 年示范性虚拟仿真教学项目建设通知》为开展基于虚拟仿真技术的外语教学提供了指导基础。 我国 2013 年开始建设国家虚拟仿真实验教学中心,计划认定 1500 个国家虚拟仿真实验教学中心(教育部,2013),其中 2017 年和 2018 年共认定了 401 个,已经建成了国家虚拟仿真实验教学项目共享平台。本文选取基于虚拟仿真技术的部分英语教学案例,从情境创设、教学交互、动机提升的角度切入, 探究了基于虚拟仿真技术的英语教学并对其进行反思。

01

虚拟仿真技术( VR) 简介

虚拟仿真技术又名虚拟现实技术( Virtual Reality Technology,简称 VR),用于描述计算机生成的虚拟环境,在用户实时操控下,可以在该环境中自由移动。虚拟环境可由头戴式显示器,计算机显示器或大型投影屏幕显示,而头部和手部跟踪系统可以使用户能够观察,四处移动和操纵虚拟环境( Mandal,2013)。Burdea & Coiffet (1994) 提出了虚拟仿真技术的“3I” 特征,即想象性( Imagination)、交互性( Interaction) 和沉浸性( Immersion),能让学习者在虚拟的环境中感受“ 真实” 世界。  随着人工智能技术迅速发展,VR 系统开始逐步向智能化( Intelligence) 方向发展( 赵沁平,2017)。

虚拟仿真技术主要包括三大类型( Mandal,2013;高媛 等,2016):(1) 桌面式虚拟仿真( Desktop VR),通过电脑屏幕呈现三维虚拟环境,使用鼠标、手柄等进行交互;(2) 沉浸式虚拟仿真( Immersive VR),使用者需佩戴头盔等沉浸式的输出设备,将使用者的视觉、听觉与外界隔离,全身心投入虚拟环境之中;(3) 分布式虚拟仿真( Distributed VR),将分散的虚拟仿真系统通过网络联结起来,参与者可以自由交互、协同合作。发展至今,VR 技术已应用于各个领域,如教育、医疗、航空、军事等。而根据“ 虚拟仿真世界” 网站的分类,沉浸式虚拟现实又可以分为三类:半沉浸式虚拟仿真、合作沉浸式虚拟仿真和 CAVE 沉浸式虚拟仿真。

虚拟仿真技术能够帮助学习者实现真实情境体验,具有“ 临场感”( 高媛 等,2016:78),通过为学习者打造高仿真的目标语学习情境,实现学习者与教学内容的高效互动。VR 也因其强交互性、强动机激发能力而广泛应用于教育和培训领域( Freina et al. ,2015)),很多学者认为VR 在语言教学中的应用前景也非常乐观( 高媛 等,2016;黄奕宇,2018;郑春萍 等,2019;祝士明 等,2019)。  2004———2013 年,在计算机辅助语言教学研究国际顶尖期刊《语言学习与技术》、CALICO、《计算机辅助语言学习》和 ReCALL 共发表虚拟仿真论文 29 篇,研究内容主要集中在互动交流,其中有六篇是关于 CBI( 基于内容的语言教学) 的研究,有三篇是关于 TBLL( 任务型语言教学) 的研究( Lin et al. ,2015),不过该文研究的虚拟仿真教学指桌面式虚拟仿真以及虚拟学习环境( virtual  learning  environment, VLE)。  本文讨论的是沉浸式虚拟仿真 ( IVR) 技术在英语教学中的应用。

02

虚拟仿真技术( VR) 助力信息时代英语教学的途径

虚拟仿真技术给学习者在仿真环境中进行交流、合作和竞争活动提供了绝好的空间。 此外,无论是桌面式虚拟仿真技术还是沉浸式虚拟仿真技术都具有多沟通渠道和较高视觉吸引力特性,适合创建具有更高程度的交互和协作任务,也可提供多种输入,输出和反馈方式( Lin et al. ,2015),有利于任务型教学的任务设计和实施。

2. 1 通过沉浸式虚拟仿真技术( VR) 创设仿真英语教学情境

虚拟仿真技术可实现仿真教学情境的创设。任务型英语教学强调语境的真实性,即学生语言学习情境与真实世界相似、与真实世界中的活动息息相关( Nunan,1989),让学生能够更好地在学中做、做中学,掌握英语。

图 1 学生在 VR 技术创设的仿真超市进行英语学习

虚拟仿真技术创设的语言学习情境属于典型的 3D 情境,其最大特点是交际的多通道性和视觉的逼真性和感染力,特别适合创造交互和合作的任务,也能够提供多模态输入、输出和反馈( Lin et al. ,2015)。为了让学生学会超市购物相关语言技能, 技术团队通过虚拟仿真技术创设了一个大型生活超市( Grocery),学生在真实可感的 360°全景超市场景中学习英语( 图 1),学生根据任务要求,学习相关词汇及句型,并用所学习语言完成在超市购物的一系列任务,授课教师( 外教) 担任超市工作人员,协助学生完成采购活动,整个过程工作语言为英语,在这个过程中学习者通过活动实践所学语言,掌握用英语购物的基本语言技能。   与传统教室教学相比较,基于虚拟仿真技术的任务型教学情境更加逼真,更易于实现教学中的“ 任务”( pedagogical tasks) 向生活中“ 任务”( authentic tasks) 的转换,能够全方位刺激大脑神经, 实施多模态语言学习,提升教学效果。

通过虚拟仿真技术创设的多模态外语学习仿真环境,学生能更好完成任务,习得语言。VR 技术的模态再建功能为学生模拟出了真实世界的语境( 李颖,2020),学生在高仿真的超市场景中,通过完成“ 购买饮料” 的系列任务而习得目标词汇和句型,充分调动了“ 视觉模态”“ 听觉模态” 和“ 触觉模态” 的多模态输入( 表 1)。VR 环境下的购买饮料是一种动作行为,在图 1 中,学生置身于综合超市中,有真实的位置移动,有真实的选择饮料、付款等动作,有真实的语言交际,不是头脑中的假想,这是 VR 教学与传统课堂教学的本质区别。如在学习饮品类词汇时,学生通过视觉直观感知牛奶、果汁、咖啡等饮品的外观、颜色等图像信息及其对应词汇拼写的文字信息。通过教师和学生轮流扮演“ 导购” 和“ 顾客” 的角色任务,在一问一答的交际过程中,通过听觉认知目标词汇和句型的发音,并通过触觉感受所学内容的形状,通过用眼睛看、用耳朵听、用嘴巴练以及用手写的多模态输入和适当的模态转换,刺激记忆神经,帮助学习者更好形成意象图式,增强其对所学内容的内化,提高内容记忆的持久性( 顾曰国,2007:6),加快了其输入转化为摄入的速度,从而促进再输出。

表 1   VR 英语教学情境创设

在虚拟仿真学习环境中开展语言教学,可帮助学生具象化认知、感知事物,增强记忆。在 VR 技术助力下,教师可将学习内容中复杂抽象的部分转换为具体的动作和操作,并通过可视化、可理解、可操作的方式展现出来,让学习者在任务活动中通过身体进行感知( 李青 等,2016),促进学习者将“ 身体” 融入课堂学习,以技术作为桥梁,使学习者能将抽象化的知识具象化( 李志河 等,2018),顺应学生认知发展过程。如在学习“ 时间” 这个抽象概念时,教师引导学生埋下一颗银杏树的种子,并拨动时钟,观察种子从生根发芽到开花结果再到枯萎凋谢的整个过程,从可视化的具象认识去感知时间的流逝,理解时间的概念,并融入身体感受之中,从而更好理解其内涵。VR  课堂创设的学习环境,实现了跨时域、科幻般的真实体验,可视化、可理解、可操作的学习体验帮助学生更好理解抽象概念,培养抽象思维,更好认识、理解、记忆和应用语言知识。

2. 2 虚拟仿真技术创设可创设三维交互教学环境,更有利于提升教学质量

高仿真的虚拟环境能使英语教学的教学交互更加易于实现。所谓交互式教学,就是交互活动的参与者或交互主体———师与生、生与生、人与机之间进行多层次和多角度对话、沟通、情感交流而展开的教学活动( 高玉兰,2004:49)。  学习者的语言系统是通过有目的的交流活动发展起来的( 龚亚夫  等,2003:52),因此有意义的师生交互和生生交互能让学习者更好掌握语言。

我们以“ 海滩玩具课” 任务交互设计为例来说明( 表 2)。该堂课主要围绕玩具词汇展开,学生在全景海滩场景中,通过与教师和机器人朋友模拟野餐,习得目标词汇和句型。该堂课主要分为三大交互类型: 师生交互、人机交互( 学生和机器人)、学生和教学内容交互。

表 2   VR 英语教学交互设计案例

首先,VR 课堂可以提升交互质量。在虚拟仿真技术助力下,任务型英语教学环境得以优化,使得任务设计循序渐进、前后呼应,具有连贯性和层次性,并且丰富多样、趣味横生,学生的动机得以明显激发, 师生互动更加高效,任务完成质量更高。 如学习玩具词汇时,教师通过让学生将玩具放入百宝箱的任务帮助学生习得词汇。 学生对难度逐步升级的语言游戏中的任务感到十分新奇,参与感和积极性被充分激发,执行任务的过程中教师也与学生不断沟通,提供帮助,最终实现语言习得。完成学习任务后,教师与学生“ 击掌”( 图 2),此后烟花四射( 图 3),将师生交互推向高潮。  通过借力虚拟仿真技术,使任务活动能更好实施、发挥作用,从而提升师生交互质量,而学生也在同教师互动的过程中完成任务,习得语言。

图 2   学生在虚拟环境下与教师击掌 

图 3 师生击掌后,烟花四射

其次,智能机器人助力 VR 课堂,增强课堂“ 趣” 味,提升交互质量。虚拟仿真技术新增的“ 智能化” ( Intelligence) 特征内涵之一则是“ 人机交互的自然化”( 赵沁平,2017:1)。  本案例中机器人 Tidy 属于“ 虚拟协作代理”( Virtual Collaborative Agents),运用人工智能( AI) 技术,协助教师开展在线教学,充当学生的学伴,扮演“ 专家” 或“ 虚拟同伴” 的角色( Smaldino  et al. ,2019:214)。  机器人 Tidy 可爱的外形和声音让学生备感亲切,如同自己的学习伙伴,但又不会产生同辈压力,减少了因语言交际而产生的焦虑感( 李志河 等,2018) 的同时,使课堂语言学习充满乐趣。  在“ Jump Rope” 一词的学习环节( 图 4),学生与 Tidy 互动摇绳,场景式记忆生动鲜活,学生边摇绳边同 Tidy 复述该单词,强化了肌肉记忆。

图 4   Tidy 与学生互动摇绳子

最后,VR 课堂实现了学生与教学内容的交互。 学生和教学内容的交互指的是学生与学习对象之间的交互,而在传统课堂,学生和学习内容之间很难互动,通过 VR 技术,可以让教学内容按需发生相应的变化。我们以词汇“ Bicycle”“ Car”“ Train” 为例来说明。教师引导学生和教学对象对话来学习上述词汇, 学生通过“ 呼叫” 上述单词 10 次,学生每“ 呼叫” 一次,自行车( 汽车/ 火车) 就变大一倍,输出十次后便鸣笛开走了,十分生动并充满趣味,学生在复述的过程中可以加大声音,声音越大,自行车( 汽车/ 火车) 就变得越大,鼓励学生开口大声说英语。   通过高频次提取输出练习,促进学习内容从短时记忆向长时记忆的转换。“ 词汇实物互动” 这类只有在 VR 场景中才能实现的生“ 物” 交互给学生带来新奇、趣味性极强的体验,使其学习兴趣盎然、乐在其中,在完成任务的过程中习得语言并体会到学习的快乐。

基于虚拟仿真技术的三维交互教学环境给学生完成语言任务提供了更好的学习体验。 在任务型虚拟环境中,学生通过完成各种任务,促成了深入的师生交互、人机交互及学生和教学内容的交互。大量的“ 可理解性输入” 和足够的“ 可理解性输出”,使学生语言实践量比在传统教学环境中大幅增加,促使学生将所学语言知识迁移至交际应用中。

2. 3 虚拟仿真环境下的良好学习体验明显提升学生的学习动机

在虚拟仿真场景中更胜一筹的学习体验感和任务真实感能有效激发和维持学生的学习动力。我们以《商务英语口语会话》VR 实训系统中的“ 住宿” 主题课程为例进行说明( 图 5),技术团队创设了高仿真酒店场景,并设计与之高关联的学习任务活动,涵盖寻找酒店、登记入住、选择房间、客房服务、办理退房手续等整个流程。  在高仿真、高关联的酒店场景中进行口语训练,可使学生身处真实的语言交际现场,获得“ 临场感”,从而抓住学生注意力,激发学习兴趣。通过完成情境中设定的任务活动,如在办理登记入住时询问前台工作人员健身房的位置及开放时间,酒店的自助餐厅地点等,增强学生的代入感,提升口语能力和交际能力,实现听得懂、记得住、讲得出、用得对,获得信心和满足,最终提高英语学习自我效能感,  维持并提升学习动机。   此外,虚拟仿真技术创设的游戏化的学习情境及强交互设计可明显提升学习者的学习动机。  学生可多人联动完成教师布置的任务,通过角色扮演、闯关任务等带有游戏性的活动,激发学生语言学习的童性,边玩边学,在玩中学。通过寓学于乐的任务探索和学习体验,能增加学生的参与感, 减轻焦虑感,增强学生内在学习动机,开口说英语,用英语完成日常交际活动,让语言学习回归沟通与交流的本质。

图 5 学生在 VR 高仿真的酒店场景中进行商务英语口语学习

03

对虚拟仿真技术( VR) 支持英语教学的反思

如果 VR 技术只是用来创设仿真情景,让学生在仿真情境中学习英语,在某种程度上也可以提升英语教学质量,但就投入的成本及 VR 自身强大功能而言,单纯创设英语教学情境则属于大材小用。本文列举的几个案例都只是依托 VR 创设了高仿真情境,属于对 VR 的低级应用,但也是 VR 在英语教学中的常见使用形式,没有解决英语教学的本质问题。根据前文的讨论,我们知道 VR 能够创设仿真英语教学情境,让学习者沉浸在仿真环境中;VR 能够提供三维交互教学环境,提升教学交互质量;VR 能够提供体验式学习,让学习者在“ 做” 中“ 学”,在“ 玩” 中“ 学”;VR 能够提供多模态语言学习环境,让学习者开展多模态语言学习;VR 还具有游戏性,可以提升学生的语言学习兴趣等。

我们认为,VR 支持的英语教学还具有以下潜在发力点:(1) 依托 VR 的游戏性优势,激发学习者的语言学习兴趣,教学设计时要注意引导学生从对游戏的兴趣转向对英语语言的兴趣;(2) 依托 VR 创设的高仿真教学情境特点,开展个性化任务型教学,让学生在仿真环境下使用语言,而不是把传统课堂授课模式搬到 VR 课堂;(3) 发挥 VR 情境的强交互性,根据英语学习内容开发英语语言学习游戏包,在游戏中植入标准英语,通过完成游戏,学习英语;(4) 基于 VR 开发语言学习社区,搭建” 语言桥”,吸引英语为母语的人士加入,开展语言交换,实现真实的英语交流,以用促学;(5) 聚焦专门用途英语教学( ESP),建构虚拟仿真环境下的 ESP 教学( VRESP),开展任务型教学或者项目式教学,通过完成项目,掌握 ESP,激发学习内驱力;(6) 依托 VR 优势,创设跨文化交际仿真情境,开展跨文化交际仿真教学,让学习者体验文化差异。

随着信息技术的迅速发展,学习英语的环境已经大为改观。 原汁原味的英语素材铺天盖地,学生可以很轻松地接触到高质量的真实的英语音频、视频、文本等。英语学习最大的困难还是没有真实的英语语境,且这个现状短期内很难改变。  VR  的最大优势在于创建高仿真的学习环境,让学习者可以沉浸到仿真的英语学习环境中,感觉到自己处于一个纯英语学习环境中,这个学习环境包括自然环境,也包括社会文化环境,更要有在这个环境中活动的人。通过 VR 创设英语语言学习社区,让学习者在这个社区中使用英语与本族语者进行交流,共同完成各种任务是较好的解决途径之一。实际上,基于桌面式 VR 的类似语言学习社区已经比较成熟,学习者通过操作鼠标和键盘指挥 VR 环境中的替身融入社区活动中,在学习者面前呈现的是电脑显示器,及在显示器里完成各种任务的替身,学习者虽然坐在显示器前,但无法看到 360°范围内的虚拟世界,因此学习者没有完全沉浸在虚拟世界中,很容易被周围现实世界干扰。而沉浸式 VR 与桌面式 VR 有很大差异,在沉浸式 VR 中,学习者与真实世界完全隔离,不受周围真实世界的干扰,当学习者在沉浸式 VR 环境中活动时和在真实世界中一样,因此现场感更强,学习者在沉浸式虚拟环境中完成任务的有趣体验会在学生大脑中形成难忘的情景记忆,这也能够加深学生长时记忆,优化教学效果。基于沉浸式 VR 技术创设的语言学习社区无限接近真实世界,完全支持多模态语言学习,但是沉浸式 VR 的致命缺点则是其成本依然很高,有一定的硬件及环境要求,短时期内很难普及。

2017 年上线的虚拟仿真语言学习 APPMondly 以及 2020 年全球教育创新 100 强 VR 语言学习产品ImmerseMe 均使沉浸式 VR 支持的英语学习趋于大众化和低成本化。

04

结语

本研究通过案例分析,从情境创设、教学交互、动机提升三个角度探究了基于虚拟仿真技术( VR) 的任务型英语教学。通过 VR 技术创设的教学情境,可以很好地让学习者在完成这些任务的过程中习得相应的单词和语法。  当学习者大量接触高质量语言输入时,语言学习就会发生( Muñoz,2010)。  任务型语言教学以任务为核心组织语言教学( Richards  et  al. ,2001), 注重意义的表达而非语言形式( Nunan, 1989),认为语言应以交际为目的( Willis,  1996), 使学生的语言使用与现实世界中的语言使用接轨 ( Ellis,2003)。  任务型语言教学强调真实的语言活动,交际是核心,意义是灵魂,其精神实质是“ 整体教育”“ 学生中心” 和“ 在做中学”( 贾志高,2005;邓海龙,2018)。  依托 VR 技术,开发浸入式虚拟仿真语言学习环境,开展基于项目和任务的语言学习,让学习者能够大量接触到高质量的语言,促使语言学习自然发生,使任务型语言教学更易于实现。

基于虚拟仿真技术的外语教学也面临不少问题。   虚拟仿真环境下学习者的注意力易被分散,虚拟世界丰富的场景和功能很容易占用学习者过多的认知资源,导致认知负荷超载,学习者有时难以把注意力集中在学习活动上( Maciasdiaz,2008),分散了其对语言信息的注意力,造成瞬间“ 热闹” 而事后“ 空空” 之感( 顾曰国,2007:9),最终影响学习效果,故在 VR 课堂中要有意引导学习者将注意力聚焦于学习内容本身,利用好技术而不是被技术反噬。VR 支持的语言学习潜力巨大,但需要更多的实证研究证据( 正面和负面) 来指导其发展方向,以充分实现巨大的可能性( Lan, 2020)。

责任编校:路小明

说明：

1.因平台版式限制，本文省略了英文摘要和参考文献，全文请于cnki下载。

2.转载事宜请联系：[e-mail]。

往期推荐

我知道你  在看  哦